"""
重排模型评估工具配置文件
"""

# 路径配置
RAW_DATA_DIR = "data/raw"
PROCESSED_DATA_DIR = "data/processed"
RESULTS_DIR = "results"

# 模型定义
MODELS = ['bge_rerank', 'qwen3_4b']

# 评估参数
TOP_K = 5  # 评估前K个结果
RELEVANCE_THRESHOLD = 0.8  # 相关性阈值，大于等于该值被视为"有用"的知识片段

# 数据格式
MODEL_RESULT_FORMAT = {
    "question_id": {
        "scores": "模型生成的相关性得分列表",
        "rankings": "根据分数排序的知识片段索引列表"
    }
}

# 模型配置
MODELS_CONFIG = {
    "bge_rerank": {
        "name": "bge_rerank",
        "description": "BGE重排序模型"
    },
    "qwen3_4b": {
        "name": "qwen3_4b",
        "description": "通义千问3.5 4B重排序模型"
    }
} 